AI资讯新闻榜单内容搜索-Scaling La

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: Scaling La
谷歌重磅推出全新Scaling Law,抢救Transformer!3万亿美元AI面临岔路

谷歌重磅推出全新Scaling Law,抢救Transformer!3万亿美元AI面临岔路

谷歌重磅推出全新Scaling Law,抢救Transformer!3万亿美元AI面临岔路

谷歌团队发现了全新Scaling Law!新方法DiLoCo被证明更好、更快、更强,可在多个数据中心训练越来越大的LLM。

来自主题: AI技术研报
5185 点击    2025-03-16 16:09
Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现

Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现

Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现

谷歌发布了1000亿文本-图像对数据集,是此前类似数据集的10倍,创下新纪录!基于新数据集,发现预训练Scaling Law,虽然对模型性能提升不明显,但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋!

来自主题: AI技术研报
5791 点击    2025-03-10 09:52
刚刚,奥特曼给出AGI三个判断:Scaling Law保持不变,没理由放缓投资

刚刚,奥特曼给出AGI三个判断:Scaling Law保持不变,没理由放缓投资

刚刚,奥特曼给出AGI三个判断:Scaling Law保持不变,没理由放缓投资

刚刚,OpenAI奥特曼的最新AI观察出炉:Scaling Law将保持不变,短时间内没有理由停止对AI进行指数增长级的投资!1、AI能力与投入资源呈对数关系 2、AI使用成本每年降低约10倍 3、AI带来的社会经济价值呈超级指数增长

来自主题: AI资讯
9591 点击    2025-02-10 17:48
70年AI研究得出了《苦涩的教训》:为什么说AI创业也在重复其中的错误?

70年AI研究得出了《苦涩的教训》:为什么说AI创业也在重复其中的错误?

70年AI研究得出了《苦涩的教训》:为什么说AI创业也在重复其中的错误?

Ilya Sutskever 在 NeurIPS 会上直言:大模型预训练这条路可能已经走到头了。上周的 CES 2025,黄仁勋有提到,在英伟达看来,Scaling Laws 仍在继续,所有新 RTX 显卡都在遵循三个新的扩展维度:预训练、后训练和测试时间(推理),提供了更佳的实时视觉效果。

来自主题: AI技术研报
3957 点击    2025-02-05 13:38
万字长文解读Scaling Law的一切,洞见LLM的未来

万字长文解读Scaling Law的一切,洞见LLM的未来

万字长文解读Scaling Law的一切,洞见LLM的未来

近日,资深机器学习研究科学家 Cameron R. Wolfe 更新了一篇超长的博客文章,详细介绍了 LLM scaling 的当前状况,并分享了他对 AI 研究未来的看法。

来自主题: AI技术研报
5869 点击    2025-02-02 17:39
跟硅谷的核心AI公司聊完后,得到了这 60 条关键洞察

跟硅谷的核心AI公司聊完后,得到了这 60 条关键洞察

跟硅谷的核心AI公司聊完后,得到了这 60 条关键洞察

对 LLM 来说,Pre-training 的时代已经基本结束了。视频模型的 Scaling Law,瓶颈还很早。具身智能:完全具备人类泛化能力的机器人,在我们这代可能无法实现

来自主题: AI资讯
6616 点击    2025-01-24 12:57
大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws

大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws

大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws

大模型低精度训练和推理是大模型领域中的重要研究方向,旨在通过降低模型精度来减少计算和存储成本,同时保持模型的性能。因为在大模型研发成本降低上的巨大价值而受到行业广泛关注 。

来自主题: AI技术研报
3699 点击    2025-01-17 11:07
清华、智谱团队:探索 RLHF 的 scaling laws

清华、智谱团队:探索 RLHF 的 scaling laws

清华、智谱团队:探索 RLHF 的 scaling laws

目前关于 RLHF 的 scaling(扩展)潜力研究仍然相对缺乏,尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题,来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究,并提出了优化策略。

来自主题: AI技术研报
8445 点击    2024-12-24 14:56